联合学习允许一组分布式客户端培训私有数据的公共机器学习模型。模型更新的交换由中央实体或以分散的方式管理，例如，由一个区间的。但是，所有客户端的强大概括都使得这些方法不合适，不合适地分布（非IID）数据。我们提出了一个统一的统一方法，在联合学习中的权力下放和个性化，该方法是基于模型更新的定向非循环图（DAG）。客户端代替培训单个全局模型，客户端专门从事来自其他客户端的模型更新的本地数据，而不是依赖于各自数据的相似性。这种专业化从基于DAG的沟通和模型更新的选择隐含地出现。因此，我们启用专业模型的演变，它专注于数据的子集，因此覆盖非IID数据，而不是在基于区块的基于区块的设置中的联合学习。据我们所知，拟议的解决方案是第一个在完全分散的联邦学习中团结的个性化和中毒鲁棒性。我们的评价表明，模型的专业化直接从基于DAG的模型更新通信到三个不同的数据集。此外，与联合平均相比，我们在客户端展示稳定的模型精度和更少的方差。
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
培训和评估语言模型越来越多地要求构建元数据 - 多样化的策划数据收集，并具有清晰的出处。自然语言提示最近通过将现有的，有监督的数据集转换为多种新颖的预处理任务，突出了元数据策划的好处，从而改善了零击的概括。尽管将这些以数据为中心的方法转化为生物医学语言建模的通用域文本成功，但由于标记的生物医学数据集在流行的数据中心中的代表性大大不足，因此仍然具有挑战性。为了应对这一挑战，我们介绍了BigBio一个由126个以上的生物医学NLP数据集的社区库，目前涵盖12个任务类别和10多种语言。 BigBio通过对数据集及其元数据进行程序化访问来促进可再现的元数据策划，并与当前的平台兼容，以及时工程和端到端的几个/零射击语言模型评估。我们讨论了我们的任务架构协调，数据审核，贡献指南的过程，并概述了两个说明性用例：生物医学提示和大规模，多任务学习的零射门评估。 BigBio是一项持续的社区努力，可在https://github.com/bigscience-workshop/biomedical上获得。
translated by 谷歌翻译